Âm nhạc và lời Safe as Milk

Delta blues là nguồn ảnh hưởng lớn cho album, điều này hiện diện rõ ngay ở thanh nhịp mở đầu của track đầu tiên, "Sure 'Nuff 'n Yes I Do", dựa trên "Rollin' and Tumblin'" trong bản của Muddy Waters.[5] Câu hát đầu tiên, "Well I was born in the desert ...", lấy từ "New Minglewood Blues" của Cannon's Jug Stompers, một phiên bản ban đầu của "Rollin' and Tumblin". Album còn có một phiên bản "Grown So Ugly" của Robert Pete Williams được sắp xếp bởi Cooder.[6]

Một bài hát khác là "Abba Zaba", một trong ba track được soạn bởi chỉ Beefheart bằng tên thật. AllMusic viết, "Dù không có ảnh hưởng blues trực tiếp 'Abba Zaba' có những yếu tố ngoại vi [..] cho ta biết nhiều điều về album", ghi nhận rằng ảnh hưởng của Cooder được nghe rõ trong "dòng guitar phức tạp, ngân vang" và "phần bass thằng thừng và chua cay".[7] Track được theo tên kẹo Abba-Zaba, món ăn vặt yêu thích của Beefheart khi còn bé. Ban nhạc từng có định đặt tên album theo loại kẹo này, nhưng công ty sản xuất, the Cardinet Candy Co., không cho phép điều đó, và album được đặt lại tên.